#! /bin/bash
model=vit_base_patch16_224_in21k_molh
model_ckp=./released_models/ViT-B_16.npz
model_type=vit_molh
tuning_mode=molh
rank=8
alpha=8
num_experts=136
top_k=2

CUDA_VISIBLE_DEVICES=0 python train_model_mol.py --dataset cifar --task vtab --lr 0.013 --wd 1.0 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 1e-4 --loss_coef 1e-4 --resume --rloss lbloss --poststr mol_hir\
    --ctr_loss --top_k $top_k


CUDA_VISIBLE_DEVICES=3 python train_model_mol.py --dataset clevr_count --task vtab --lr 0.0033 --wd 0.01 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k

CUDA_VISIBLE_DEVICES=3 python train_model_mol.py --dataset clevr_dist --task vtab --lr 0.0018 --wd 0.005 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k

CUDA_VISIBLE_DEVICES=3 python train_model_mol.py --dataset dmlab --task vtab --lr 0.009 --wd 0.1 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k

CUDA_VISIBLE_DEVICES=3 python train_model_mol.py --dataset kitti --task vtab --lr 0.0072 --wd 0.0001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k

CUDA_VISIBLE_DEVICES=3 python train_model_mol.py --dataset dsprites_loc --task vtab --lr 0.003 --wd 0.001 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k

CUDA_VISIBLE_DEVICES=3 python train_model_mol.py --dataset dsprites_ori --task vtab --lr 0.01 --wd 0.05 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k

CUDA_VISIBLE_DEVICES=3 python train_model_mol.py --dataset smallnorb_azi --task vtab --lr 0.0062 --wd 0.005 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k

CUDA_VISIBLE_DEVICES=3 python train_model_mol.py --dataset smallnorb_ele --task vtab --lr 0.0011 --wd 0.0005 --dpr 0.1 \
    --tuning_mode $tuning_mode --model_type $model_type --model $model --model_ckp $model_ckp \
    --rank $rank --alpha $alpha --num_experts $num_experts \
    --jitter_noise 1e-4 --loss_coef 1e-3 --resume --rloss lbloss --poststr mol_hir \
    --ctr_loss --top_k $top_k
